Leong Yew Koh menubuhkan parti MCA pada 27 Februari 1949 bersama-sama dengan pemimpin-pemimpin Cina seperti Tan Cheng Lock Kolonel H.S. Lee . Tan Cheng Lock menjadi presiden MCA yang pertama dan Leong Yew Koh menjadi Setiausaha MCA yang pertama (1952-1957). Matlamat utama parti berasaskan kaum Cina itu ialah menyatukan orang-orang Cina di Tanah Melayu. Mereka mahu melindungi hak-hak dan kepentingan orang-orang Cina, bekerjasama dengan kerajaan untuk menentang komunisme dan berhasrat mencapai kemerdekaan untuk Tanah Melayu bersama-sama parti lain khususnya Tunku Abdul Rahman.

Pada tahun 1948 beliau telah dilantik menjadi ahli Majlis Undangan Persekutuan dan ahli Jawatankuasa Penasihat berkaitan cadangan Perlembagaan Persekutuan Tanah Melayu. Beliau berganding bahu dengan para pemimpin MCA yang lain telah berusaha berganding bahu dengan para pemimpin UMNO bagi mencapai kemerdekaan dengan cara perlembagaan. Hasilnya satu perhimpunan kebangsaan anjuran UMNO-MCA telah diadakan pada 23 Ogos 1953, yang dipengerusikan oleh YTM Tunku Abdul Rahman. Tun Leong Yew Koh pula telah dilantik sebagai salah seorang ahli Jawatankuasa Kerja untuk menyusun dan mengemukakan penyata kepada perhimpunan kebangsaan tersebut sebagai usaha mempercepatkan proses kemerdekaan.

Dalam [[Pilihan raya Persekutuan yang pertama pada 27 Julai 1955, Parti Perikatan gabungan UMNO-MCA telah mendapat kejayaan. Tun Leong Yew Koh sebagai calon Perikatan menang di kawasan Ipoh dan Menglembu. Beliau telah dilantik sebagai Menteri Kesihatan apabila kabinet pertama Persekutuan Tanah Melayu di bentuk pada 1 Ogos 1955.

Beliau pernah dilantik menjadi Menteri Kesihatan pada 1955 ketika Tunku Abdul Rahman menjadi Ketua Menteri Persekutuan Tanah Melayu. Kabinet ini dibentuk selepas parti Perikatan menang besar 51 dari 52 kerusi yang dipertandingkan dalam Pilihan raya umum 1955 di seluruh Tanah Melayu pada 27 Julai 1955.

Semasa pengumuman tarikh kemerdekaan Tanah Melayu oleh Tunku Abdul Rahman di Bandar Hilir, Melaka pada Februari 1956, Leong Yew Koh tureut berucap bagi mewakili parti MCA. [2]